Phùng Quang Thanh sinh tại xã Thạch Đà, huyện Mê Linh, Vĩnh Phúc nay là huyện Mê Linh, Hà Nội.

Ông gia nhập Quân đội nhân dân Việt Nam năm 1967, tham gia chiến đấu ở chiến trường Quảng Trị, Nam Lào trong chiến tranh Việt Nam và Chiến tranh biên giới phía Bắc.

Năm 1968, ông gia nhập Đảng Cộng sản Việt Nam. Năm 1971, ông được tuyên dương danh hiệu Anh hùng lực lượng vũ trang nhân dân vì thành tích chiến đấu, lúc đang giữ chức vụ trung đội trưởng thuộc Trung đoàn 64, Sư đoàn 320 Đồng Bằng. Theo lời kể thì:

Ngày 11 tháng 2 năm 1971, Phùng Quang Thanh-Trung đội trưởng Trung đội 1, Đại đội 9, Tiểu đoàn 9, Trung đoàn 64, Sư đoàn 320 trực tiếp chỉ huy một tiểu đội chốt giữ đồi Không Tên. Địch dùng 1 đại đội có máy bay yểm trợ, chia làm 2 mũi tấn công chốt. Phùng Quang Thanh chỉ huy tiểu đội chờ địch vào gần mới nổ súng, diệt 38 tên, đẩy lùi địch ra xa, riêng Phùng Quang Thanh diệt 8 tên. Hai ngày sau địch lại tiến công lên chốt, Phùng Quang Thanh bị thương, cấp trên cho lui về tuyến sau nhưng anh xin ở lại chiến đấu. Phùng Quang Thanh nhờ đồng đội tháo nắp 17 quả lựu đạn cho vào túi đeo quanh người nhờ y tá băng và treo cánh tay trái cho đỡ vướng rồi dẫn đầu tiểu đội xung phong đánh tạt sườn quân địch, phối hợp đơn vị bạn diệt gọn 1 đại đội địch. Riêng tiểu đội do anh chỉ huy diệt 37 tên, bắt 1 tên, thu 2 súng.[2]

Tháng 10 năm 1971 đến tháng 6 năm 1972, ông được đi học tại Trường Sĩ quan Lục quân.

Tháng 7 năm 1972, trở lại đội chiến đấu, giữ chức Tiểu đoàn phó, sau đó là Tiểu đoàn trưởng Tiểu đoàn 9.

Tháng 8 năm 1974, ông được đi học tại Học viện Quân sự (nay là Học viện Lục quân Đà Lạt).

Từ năm 1977 đến 1989, ông lần lượt giữ các chức vụ chỉ huy từ cấp Trung đoàn đến Sư đoàn.

Tháng 9 năm 1986 đến tháng 7 năm 1988, Đảng ủy viên, Phó Bí thư Đảng ủy rồi phụ trách Sư đoàn 390, sau đó là Đại tá, Sư đoàn trưởng Sư đoàn 390, Quân đoàn 1.

Tháng 8 năm 1988 đến tháng 2 năm 1989, ông là Sư đoàn trưởng Sư đoàn Bộ binh 312.

Năm 1989, ông được cử đi học tại Học viện Quân sự Voroshilov (Liên Xô), năm sau về nước, học tại Học viện Quân sự cấp cao (nay là Học viện Quốc phòng Việt Nam).

Từ 8/1991- 8/1993, ông làm Sư đoàn trưởng Sư đoàn 312 lần thứ 2. Sau đó được điều về Cục Tác chiến Bộ Tổng Tham mưu giữ chức Phó Cục trưởng (1993), thăng quân hàm Thiếu tướng (1994) rồi giữ chức Cục trưởng Cục Tác chiến Bộ Tổng Tham mưu (1995).

Tháng 8 năm 1997, ông học lớp chính trị ngắn hạn tại Học viện Chính trị Quân sự. Ông có học vị Cử nhân.

Tháng 12 năm 1997, ông được điều về giữ chức Tư lệnh Quân khu 1. Được thăng Trung tướng năm 1999.

Từ tháng 5 năm 2001 đến tháng 8 năm 2006 (thăng Thượng tướng năm 2003), ông được Chủ tịch nước bổ nhiệm giữ chức Tổng tham mưu trưởng Quân đội nhân dân Việt Nam (thay Trung tướng Lê Văn Dũng sang giữ chức Chủ nhiệm Tổng cục chính trị), Thứ trưởng Bộ Quốc phòng.

Năm 2006, ông là Bộ trưởng Bộ Quốc phòng được Chủ tịch nước bổ nhiệm trong Chính phủ của Thủ tướng Nguyễn Tấn Dũng.

Ngày 6 tháng 7 năm 2007, ông được Chủ tịch nước Nguyễn Minh Triết trao quân hàm Đại tướng.

Ông cũng từng kiêm chức Chủ tịch Ủy ban Quốc gia Tìm kiếm và Cứu nạn.

Ông là Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam các khoá IX(2001), X(2006), XI(2011), là Ủy viên Bộ Chính trị khóa X (2006), khóa XI (2011).

Tại Kỳ họp thứ nhất Quốc hội Khóa XIII,ông được Quốc hội phê chuẩn tiếp tục làm Bộ trưởng Bộ Quốc phòng. 

Ngày 8 tháng 4 năm 2016, tại kỳ họp thứ 11 Quốc hội khóa XIII, ông được Quốc hội khóa XIII miễn nhiệm chức vụ Bộ trưởng Bộ Quốc phòng.[3] 

Ngày 11 tháng 9 năm 2018, Phùng Quang Thanh được Trần Quốc Vượng, Thường trực Ban Bí thư Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa 12 trao Huy hiệu 50 năm tuổi Đảng tại Hà Nội.[4]